Projekt
Przedłożony poniżej tekst stanowi wstępny szkic projektowanego zakresu pracy oraz założeń technicznych i biznesowych pracy inżynierskiej. Na dalszym etapie treść zostanie odpowiednio sformatowana, ustrukturyzowana oraz szczegółowo rozbudowana zgodnie z wymaganiami akademickimi uczelni.
Temat pracy został przeze mnie szczegółowo przeanalizowany zarówno pod kątem praktycznym, jak i badawczym. Projektowana hurtownia danych ma umożliwić udzielenie precyzyjnych odpowiedzi na pytania badawcze dotyczące rzeczywistej rentowności sprzedaży prowadzonej za pośrednictwem platform marketplace, ze szczególnym uwzględnieniem platformy Allegro.
Jednym z kluczowych problemów współczesnego e-commerce jest prawidłowe określenie rzeczywistych kosztów prowadzenia sprzedaży. Dynamiczne prowizje, opłaty dodatkowe oraz zmienne koszty związane z obsługą zamówień mogą powodować istotne różnice pomiędzy marżą zakładaną na etapie kalkulacji a marżą faktycznie osiąganą przez przedsiębiorstwo.
Równolegle projekt pozwoli na zbadanie zagadnień o charakterze inżynierskim, związanych z wydajnością modelu danych i optymalizacją zapytań bazodanowych, a także zagadnień biznesowych dotyczących sezonowości sprzedaży oraz identyfikacji produktów generujących ukryte koszty i straty w cyklu życia asortymentu.
Pytania badawcze do projektu
- W jakim stopniu dynamiczne koszty platform marketplace, takie jak zmienne progi dopłat w ramach Allegro Smart!, wpływają na odchylenie marży faktycznej od marży teoretycznej zakładanej w kalkulatorach operacyjnych?
- Czy zastosowanie zdenormalizowanego modelu gwiazdy (Star Schema), zgodnego z metodologią Kimballa, zapewnia odpowiednią wydajność zapytań analitycznych typu SELECT oraz obliczeń w języku DAX przy rosnącym wolumenie danych sprzedażowych?
- W jaki sposób wielowymiarowa analiza czasu (Time Intelligence) oraz trendów sezonowych z ostatnich trzech lat pozwala zidentyfikować produkty generujące ukryte straty, określane jako „generatory kosztów”, w poszczególnych etapach cyklu życia asortymentu?
1. Opis projektowanego zakresu pracy
1.1 Zakres merytoryczny i funkcjonalny projektu obejmuje:
- zaprojektowanie wielowymiarowej architektury bazy danych w modelu gwiazdy (Star Schema), zorientowanej wokół centralnej tabeli faktów reprezentującej pozycje zamówień sprzedażowych;
- opracowanie i implementację procesu ETL (Extract, Transform, Load), którego zadaniem będzie ekstrakcja rozproszonych danych operacyjnych z systemu BaseLinker oraz raportów rozliczeniowych Allegro, ich oczyszczenie, transformacja i konsolidacja w docelowej strukturze relacyjnej;
- budowę analitycznego modelu danych w środowisku Microsoft Power BI wraz z implementacją dedykowanych miar obliczeniowych w języku DAX (Data Analysis Expressions);
- przeprowadzenie analizy wydajności zapytań SQL i obliczeń DAX z wykorzystaniem narzędzia DAX Studio oraz funkcji Server Timings;
- wdrożenie interaktywnego pulpitu menedżerskiego (dashboardu), umożliwiającego kadrze zarządzającej cykliczną analizę finansową i operacyjną zrealizowanych transakcji.
1.2 Zakres analityczny (biznesowy) systemu obejmuje trzy kluczowe obszary:
- Dekompozycja kosztów marketplace – precyzyjne rozbicie każdej transakcji na przychód brutto i netto, koszt zakupu towaru oraz dynamiczne koszty platformy, obejmujące między innymi prowizje standardowe, prowizje od kosztów wysyłki oraz opłaty związane z utrzymaniem ofert;
- Audyt progów cenowych Allegro Smart! – weryfikacja rentowności zamówień w zależności od wartości koszyka zakupowego klienta, z uwzględnieniem progów dopłat transportowych ponoszonych przez sprzedawcę;
- Analiza cyklu życia i sezonowości asortymentu – badanie trendów sprzedaży oraz odchyleń marży zrealizowanej od marży zakładanej dla wybranych kluczowych produktów w ujęciu czasowym na przestrzeni ostatnich trzech lat.
Uzasadnienie zakresu
Wydzielenie przedstawionego zakresu wynika bezpośrednio z inżynierskiego charakteru pracy dyplomowej. Aby system Business Intelligence mógł realizować założone cele analityczne, konieczne jest zaprojektowanie poprawnej architektury przepływu i przetwarzania danych.
Wybór zdenormalizowanego modelu gwiazdy (Star Schema) ma na celu zapewnienie efektywnego dostępu do danych analitycznych oraz ograniczenie złożoności zapytań. Centralna tabela faktów jest powiązana z tabelami wymiarów za pomocą relacji typu jeden-do-wielu, co odpowiada typowej architekturze wykorzystywanej w hurtowniach danych i modelach analitycznych Power BI.
Istotną cechą projektowanej architektury jest również możliwość jej dalszej rozbudowy. Hurtownie danych wykorzystywane w środowisku biznesowym muszą być przygotowane na zmieniające się potrzeby organizacji oraz pojawianie się nowych źródeł danych. Zaprojektowana struktura powinna umożliwiać w przyszłości rozszerzenie zakresu analiz o kolejne obszary, takie jak koszty i efektywność kampanii reklamowych Allegro Ads.
Współczesny rynek e-commerce charakteryzuje się dużą dynamiką zmian kosztów związanych ze sprzedażą. Systemy operacyjne wspierają przede wszystkim bieżącą realizację transakcji, natomiast nie zawsze umożliwiają przeprowadzenie wielowymiarowej analizy historycznej rzeczywistej rentowności sprzedaży.
Projektowana hurtownia danych oraz warstwa Business Intelligence mają zatem wypełnić lukę informacyjną pomiędzy teoretyczną kalkulacją rentowności a rzeczywistym wynikiem finansowym przedsiębiorstwa.
2. Założenia do projektu
2.1 Założenia technologiczne (stos technologiczny)
- Silnik bazy danych: Microsoft SQL Server jako centralne repozytorium hurtowni danych.
- Narzędzia ETL i BI: Power Query (M) oraz Microsoft Power BI Desktop jako środowisko przygotowania, modelowania i wizualizacji danych.
- Języki zapytań i modelowania: T-SQL (DDL/DML) oraz DAX do tworzenia miar i obliczeń analitycznych w Power BI.
- Analiza wydajności: DAX Studio z wykorzystaniem funkcji Server Timings.
2.2 Założenia architektoniczne (model gwiazdy)
- Struktura danych zostanie zaprojektowana zgodnie z założeniami modelu gwiazdy (Star Schema), z centralną tabelą faktów oraz powiązanymi tabelami wymiarów.
- Tabele wymiarów zostaną zdenormalizowane w celu uproszczenia modelu analitycznego i ograniczenia liczby operacji JOIN wymaganych podczas wykonywania zapytań.
- Model zostanie zoptymalizowany pod kątem współpracy z silnikiem analitycznym VertiPaq wykorzystywanym przez Power BI.
2.3 Założenia dotyczące danych wejściowych
- Projekt będzie bazował na rzeczywistych danych operacyjnych z ostatnich trzech lat działalności przedsiębiorstwa handlowego. Zakres dostępnych danych wynika z ograniczeń aktualnego pakietu systemu BaseLinker.
- W celu przetestowania wydajności i skalowalności zaprojektowanej architektury przy większych wolumenach danych proces ETL zostanie wyposażony w moduł generowania danych syntetycznych.
- Generowane dane syntetyczne będą zwiększały wolumen danych przy jednoczesnym zachowaniu określonej logiki relacyjnej oraz struktury istniejącego modelu.
2.4 Założenie niezależności systemowej i skalowalności
- Architektura modelu gwiazdy zostanie zaprojektowana w sposób umożliwiający jej dalszą rozbudowę bez konieczności przebudowy podstawowej struktury systemu.
- Model powinien umożliwiać w przyszłości dołączanie nowych tabel wymiarów, na przykład dotyczących kosztów reklamowych Allegro Ads.
- Architektura powinna umożliwiać również dodawanie kolejnych tabel faktów i tworzenie bardziej rozbudowanego modelu typu konstelacja faktów.
Uzasadnienie założeń
Dobór narzędzi oraz modelu gwiazdy wynika z założeń projektowych typowych dla systemów Business Intelligence oraz hurtowni danych. Wykorzystanie rzeczywistych danych operacyjnych, uzupełnionych o kontrolowane skalowanie za pomocą danych syntetycznych, pozwoli na ocenę poprawności działania modelu oraz jego zachowania przy zwiększającym się wolumenie danych.
Zastosowanie metodologii Kimballa jest również uzasadnione jej dobrym dopasowaniem do sposobu modelowania danych w środowisku Power BI. Relacje pomiędzy tabelami wymiarów a tabelą faktów umożliwiają efektywne wykorzystanie mechanizmów filtrowania oraz miar tworzonych w języku DAX. Jednokierunkowy przepływ filtrów od wymiarów do tabeli faktów pozwala zachować przejrzystość modelu oraz ograniczyć ryzyko występowania niejednoznaczności w obliczeniach.
Połączenie rzeczywistych danych z modułem generowania danych syntetycznych ma istotne znaczenie z punktu widzenia badań inżynierskich. Dane pochodzące z rzeczywistej działalności przedsiębiorstwa pozwolą odwzorować rzeczywiste scenariusze biznesowe, strukturę kosztów oraz naturalne trendy sezonowe. Z kolei dane syntetyczne umożliwią przeprowadzenie testów wydajnościowych przy większej skali danych niż dostępna w podstawowym zbiorze.
Wybór Microsoft SQL Server jako centralnego repozytorium hurtowni danych wynika z jego możliwości w zakresie przechowywania i przetwarzania danych relacyjnych, obsługi języka T-SQL oraz integracji z narzędziami analitycznymi Microsoft Power BI. Zastosowanie SQL Server pozwoli również na rozdzielenie warstwy przechowywania i przetwarzania danych od warstwy analitycznej i wizualizacyjnej.